ชุมพล กาญจนะ เริ่มทำงานการเมืองโดยการเป็นกรรมการสุขาภิบาลเวียงสระ เป็นรองประธานสุขาภิบาลเวียงสระ และเป็นสมาชิกสภาจังหวัดสุราษฎร์ธานี จนได้รับเลือกเป็นประธานสภาจังหวัดสุราษฎร์ธานี

เขาเข้าสู่งานการเมืองระดับชาติครั้งแรกใน การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป มีนาคม พ.ศ. 2535 ลงสมัครรับเลือกตั้งในนามพรรคประชาธิปัตย์ ทีมเดียวกันกับ บัญญัติ บรรทัดฐาน และ ประวิช นิลวัชรมณี และได้รับเลือกตั้งทั้ง 3 คน ต่อเนื่อง 4 สมัย คือ การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป มีนาคม พ.ศ. 2535, การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป กันยายน พ.ศ. 2535, การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2538, การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2539

ต่อจากนั้นได้รับเลือกตั้งในเขตเดียวเบอร์เดียวอีก 2 สมัย คือ การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2544 และ การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2548 กระทั่งในปี 2550 ได้เปลี่ยนมาเป็นแบบแบ่งเขต 3 คน อีกครั้ง เขาได้ลงเลือกตั้งร่วมกับ สุเทพ เทือกสุบรรณ และ ประพนธ์ นิลวัชรมณี ได้รับเลือกเป็น ส.ส.สมัยที่ 7 กระทั่งในปี 2553 เขาถูกตัดสิทธิ์ทางการเมืองเป็นเวลา 5 ปี เนื่องจากยื่นบัญชีแสดงรายการทรัพย์สินและหนี้สินและเอกสารประกอบต่อผู้ร้อง ด้วยข้อความอันเป็นเท็จหรือปกปิดข้อเท็จจริงที่ควรแจ้งให้ทราบตามรัฐธรรมนูญ[2][3]

ชุมพล เคยได้รับแต่งตั้งเป็นประธานคณะกรรมาธิการการกีฬาในสภาผู้แทนราษฎรไทย ชุดที่ 17 เป็นที่ปรึกษารัฐมนตรีช่วยว่าการกระทรวงเกษตรและสหกรณ์ (นายอาคม เอ่งฉ้วน) ในปี 2542 เป็นประธานคณะกรรมาธิการการตำรวจในสภาผู้แทนราษฎรไทย ชุดที่ 21

ในปี 2563 ในการเลือกตั้งนายกองค์การบริหารส่วนจังหวัดในประเทศไทย พ.ศ. 2563 นายชุมพล ลงสมัครรับเลือกตั้งอีกครั้ง[4] โดยการสนับสนุนของ อภิสิทธิ์ เวชชาชีวะ[5] แต่เขาได้คะแนนมาเป็นอันดับที่ 2[6]